Eastwind DataFlow

Основная статья: Определение Business Intelligence

Платформа Eastwind DataFlow автоматизирует процесс управления обработкой данных на Hadoop-кластере. Позволяет создавать и управлять заданиями импорта, экспорта и расчёта на распределённом вычислительном Hadoop-кластере.

2022: Возможности DataFlow

Платформа Eastwind DataFlow имеет интуитивно понятный интерфейс, в котором дата-сайентист может исследовать данные, разрабатывать AI/ML-модели и запускать их в продуктив «на лету», не тратя время на поиск нужных инструментов экосистемы больших данных.

DataFlow оптимизируeт текущую инфраструктуру за счёт набора готовых решений для загрузки, расчётов и выгрузки данных, обеспечивает взаимодействие с утилитами Hadoop.

По информации на декабрь 2022 года платформа позволяет:

• интегрировать все виды источников данных;
• делать предпроцессинг данных;
• создавать и наполнять DataLake;
• отбирать и анализировать данные;
• создавать аналитические предиктивные модели;
• переносить результаты исследований на production-систему Hadoop-кластера;
• проводить автоматический мониторинг качества работы и метрик созданных моделей;
• оптимизировать и корректировать модели.

2018: Анонс модуля

Компания Eastwind 21 июня 2018 года представила модуль DataFlow для работы с аналитическими моделями на кластере Hadoop.

EW DataFlow помогает аналитику работать с данными на Hadoop, минуя DevOps-инженеров. Модуль подключается напрямую к кластеру и выводит всю необходимую информацию об имеющихся данных в удобный UI. Таким образом, EW DataFlow выступает в качестве переходника или адаптера для Hadoop.Кейс «Авито»: как прошла миграция баз данных 1С с Microsoft SQL Server на Postgres Pro Enterprise 2.3 т

В комфортной и интуитивно понятной среде модуля специалист по изучению данных (data scientist) может работать с big data на привычных для себя инструментах: быстро и без посредников. Разработчикам нужно только развернуть систему. Под капотом модуля — кластерные инструменты для расчетов, но весь код непосредственно в UI аналитик будет писать на python.

Раньше, когда возникали проблемы с данными на Hadoop, у нас над одной задачей садились работать два человека: дата-сайентист и разработчик, — рассказал Павел Олифер, руководитель отдела социальной аналитики Eastwind. — Компания теряла время и деньги. Мы создали EW DataFlow, чтобы такого не было. Модуль делает работу дата-сайентиста на кластере Hadoop прозрачной. Сам написал код, сам запустил, сам мониторишь. Если что — сам исправил. Ведь аналитика для бизнеса должна быть быстрой и актуальной. Только тогда она будет давать нужный эффект и приносить профит

Модуль DataFlow обеспечивает единую среду для работы с аналитическими моделями на кластере. В интуитивно понятном UI модуля дата-сайнтист сможет исследовать данные, разрабатывать математические модели и алгоритмы и запускать их в продуктив прямо на кластере Hadoop.

С помощью EW Dataflow можно решать следующие задачи:

• Подключать новые источники данных.
• Производить любой процессинг данных (семплирование, исследование, построение моделей, мониторинг и т.д).
• Запускать модели в продуктив и тюнинговать их.
• Моментально узнавать о проблемах в работе, находить ошибки в коде и править.
• Управлять всеми расчетами на кластере.
• Экспортировать результаты работы в файлы

Экспортированные файлы с данными можно загружать в любые аналитические системы.

Варианты поставки модуля EW DataFlow:

• Как отдельный продукт — для тех, кто уже работает с данными автоматизировано или вручную,
• С платформой EW Social Analytics — для тех, кому нужно комплексное решение для аналитики.